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Нейросетевой анализ непрерывных потоков 
нестационарных данных 


В статье предложены структуры динамических (рекуррентных) и статических (слоистых) нейронных 
сетей для обработки стационарных и нестационарных сигналов. Эти структуры позволяют работать 
на больших временных интервалах и в непрерывном режиме, аппроксимировать временные ряды и 
функциональные зависимости, а также выполнять распределенную обработку входных данных. 


Введение 


Искусственный интеллект возник как способ имитации естественного интел- 
лекта, базирующегося на нейронных сетях человеческого мозга и ставшего основой 
человеческой культуры, науки и искусства. Нейрокибернетика, возникшая во второй 
половине сороковых годов прошлого века, дала начало исследованиям по технической 
имитации решения интеллектуальных задач человеком. В шестидесятые годы эта волна 
исследований уступила место имитации элементов человеческого мышления на основе 
формальной логики. В начале восьмидесятых (после работ Дж. Хопфилда), в связи с 
появлением алгоритмов, которые позволили обучать «скрытые» (не связанные со 
входами и выходами нейросети) слои нейронов, возникла вторая волна интереса к 
нейронным сетям. Эти алгоритмы значительно расширили возможности нейронных 
сетей, породив нейроинформатику - науку об обработке информации и управлении с 
помощью нейронных сетей. В дальнейшем нейросети стали активно внедряться в 
системы искусственного интеллекта с целью расширения возможностей формально- 
логических методов при решении трудно формализуемых задач [1]. В программе «Кеа1 
\ог4а Сотрийпе (К\С)»/«Вычисления в реальном мире» для шестого поколения 
компьютеров «огромную роль (до 30 -— 40 процентов ее содержания) отводят иссле- 
дованию естественных и созданию искусственных нейронных сетей». 

В современной нейроинформатике существует множество алгоритмов для ре- 
шения широкого круга научно-технических задач. Спектр приложений стремительно 
расширяется и активно вторгается в медицину, экологию, биологию и даже в искусство. 
Доказан ряд теорем, обосновывающих широкие возможности нейронных сетей [2-4], 
и пишутся толстые учебники [5]. Показано, что тенденции вычислительной техники 
фокусируются на нейрокомпьютерных технологиях [6]. Предложен способ описания 
иерархических архитектур нейронных сетей [7] и поисковый алгоритм для их обуче- 
ния [8] (направлена в печать детерминированная версия алгоритма). Существует 
амбициозный проект, претендующий на построение полномасштабной модели чело- 
веческого мозга [9]. Возникло обратное движение от искусственных нейронных сетей 
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к их биологическим прототипам. В медицину активно внедряются нейросетевые эксперт- 
ные системы [10], а в психологии имеются попытки использования аналогий с искус- 
ственными нейронными сетями для решения психологических задач [11], [12]. 

Вместе с тем имеются определенные трудности, преодоление которых требует 
больших усилий и не всегда дает ожидаемые результаты. В частности, с рядом проблем 
сопряжено решение задач, связанных с обработкой нестационарных сигналов и прост- 
ранственно-временных паттернов большой длительности, включая режимы непрерывно- 
го функционирования, присущие человеческому мозгу, который породил естествен- 
ный интеллект. 


Состояние области исследований: нейронные сети 
и спектральный анализ 


Возможность представления нейронных сетей в виде рядов, как будет показано 
ниже, естественным образом подталкивает к сопоставлению с традиционными мето- 
дами спектрального анализа. В частности, гармонического анализа / синтеза с помощью 
рядов Фурье. Здесь допустимы не только сопоставления, но и прямое перенесение 
подобных представлений в нейроалгоритмы, как это сделано в известной программе 
Модель [13], нейроны которой описываются уравнениями: 


М М 
У =У.а, эт ро › 
= = 


где 7; — выход 1-го нейрона; № - число нейронов; М - размерность входного вектора; 
Ху - входной вектор; а, В — подстроечные коэффициенты нейронной сети. 

В работе [14] показано, что существуют системные инварианты, определяющие 
общие правила построения быстрых алгоритмов (Фурье, Уолша- Адамара, Хаара, 
Виленкина — Кристенсона и др.), и уточняется, что с позиций сегодняшнего дня быст- 
рое перестраиваемое преобразование можно рассматривать как специфичную, много- 
слойную нейронную сеть с прореженными связями и линейными функциями актива- 
ции. При трансформации быстрого перестраиваемого преобразования в нейронную 
сеть в каждый слой добавляются нелинейные функции активации. Исследование ин- 
вариантных свойств быстрых алгоритмов также выполнено на примере быстрого пре- 
образования Фурье (БПФ). 

Преобразование Фурье получило широкое распространение в науке и технике, 
особенно электронике [15], теории управления [16], цифровой обработке сигналов [17], 
[18] и изображений [19], цифровой голографии [20], физике [21], [22] и др. Оконное 
преобразование Фурье использовалось для распознавания речи [23], исследования 
свойств зрения [24] и т.д. 

Вместе с тем, при всей своей популярности, преобразование Фурье имеет ряд 
недостатков, которые особенно заметно проявляются на нынешнем этапе научно- 
технического развития. Дело в том, что современные системы обработки информации 
и управления все в большей степени ориентируются на работу со сложными сигна- 
лами в реальном времени в условиях помех. Повышенные требования к точности и 
быстродействию при обработке нестационарных сигналов (а таковых сейчас боль- 
шинство) создают серьезные трудности для применения БИФ [25], включая и его «окон- 
ные» версии. 
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Среди проблем, возникающих при использовании БИПФ для обработки сложных 
сигналов, выделим следующие [25]: 

— базисной функцией для разложения в ряд Фурье является гармоническое (сину- 
соидальное) колебание, которое математически определено в интервале времени от — 
до +0 и имеет неизменные во времени параметры; 

— в результате, отдельные особенности сигнала (например, разрывы или пики) вызы- 
вают незначительное изменение частотного образа сигнала во всем интервале частот 
от —с0 до +00, которые «размазываются» по всей частотной оси, что делает их обна- 
ружение по спектру практически невозможным; 

— такая плавная базисная функция, как синусоида, в принципе не может представить 
перепады сигналов с бесконечной крутизной, хотя такие сигналы (например, прямо- 
угольные импульсы) применяются очень широко; 

— единственным приспособлением к представлению быстрых изменений сигналов, 
таких как пики или перепады, является резкое увеличение числа гармоник, которые 
оказывают влияние на форму сигнала и за пределами локальных особенностей сиг- 
нала; 

— по составу высших составляющих спектра практически невозможно оценить мес- 
тоположение особенностей на временной зависимости сигнала и их характер; 

— для нестационарных сигналов (а таковых сейчас большинство) трудности много- 
кратно возрастают; 

— в случае оконного преобразования Фурье действует принцип неопределенности, 
согласно которому улучшение разрешения по одному параметру (частоте или време- 
ни) ведет к ухудшению разрешения по другому параметру [26]. 

Очевидно, что некоторые проблемы Фурье-преобразования характерны и для 
нейронных сетей традиционной архитектуры, сопоставление с которыми, приведен- 
ное в работе [14], обсуждалось выше. 

Одним из эффективных способов решения задачи анализа нестационарных 
сигналов является использование вейвлет-анализа, позволяющего отражать локаль- 
ные особенности сигналов и решающего другие описанные проблемы. 

Для нас, в данном случае, представляет интерес не попытка прямого переноса 
математического аппарата вейвлетов [27] на нейронные сети, что представляется нера- 
зумным, а трансляция некоторых базовых идей вейвлет-анализа на нейросетевой базис. 

Цель данной работы — предложить формальное описание динамических (рекур- 
рентных) и статических (слоистых) нейронных сетей для обработки стационарных и 
нестационарных сигналов. Эти структуры позволяют эффективно работать на боль- 
ших временных интервалах и в режиме непрерывного функционирования. 

Постановка задачи. Анализ современного состояния области исследований по- 
зволил провести определенные параллели между методами спектрального анализа и 
современными нейронными сетями. Несмотря на большие возможности, алгоритмы 
современной нейроинформатики содержат определенные ограничения, не позволяю- 
щие полностью раскрыть потенциал нейросетевых методов в обработке и анализе ин- 
формации, а также управлении сложными системами. Среди них — ограничения по 
формированию сложных сигналов при непрерывном функционировании и трудности 
с обработкой нестационарных сигналов, сходные с проблемами традиционного спект- 
рального анализа. 

Упомянутые трудности ограничивают дальнейший рост возможностей ней- 
ронных сетей в решении сложных задач, таких как распознавания речи и визуальных 
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паттернов в условиях динамичных изменений окружающей обстановки, управление 
сложной динамикой распределенных объектов и др. 

Для преодоления указанных трудностей ставится задача разработки матема- 
тических представлений, позволяющих предложить формальное описание нейронных 
сетей для работы на больших временных интервалах и в режимах непрерывного функ- 
ционирования, распределенной обработки информации и обработки нестационарных 
сигналов. 


Динамические сети для больших интервалов времени 


Одним из существенных ограничений большинства современных нейросете- 
вых алгоритмов является неспособность, либо ограниченные возможности обучения 
и функционирования на больших интервалах времени. Между тем, дальнейший про- 
гресс нейроинформатики с необходимостью обусловлен наличием такой возможности, 
позволяющей нейронным сетям эффективно решать задачи моделирования и анализа 
сложных сигналов реального мира, адаптивного управления поведением сложных 
объектов и др. 

Для построения нейросетей, способных работать со стационарными сигналами на 
больших интервалах времени, рассмотрим модель, функционирующую в дискретном 
времени. Простейший пример такой нейронной сети приведен на рис. 1. Пусть функ- 
ционирование 1-го формального нейрона нейросети описывается уравнением: 


а’ =апс1в (ур! +9, р!”), (1) 


где у; и @;— подстроечные коэффициенты, а 


р=У ах, +, (2) 
7 


где о; — сигналы от других нейронов; К — дискретный момент времени функцио- 
нирования сети; х; — вес связи от 1-го нейрона к /-му; А; — внешний входной сигнал 1-го 
нейрона. 


Выход (02) 


Рисунок 1 — Пример простейшей полносвязной нейронной сети из трех нейронов [28]: 
1 — входной нейрон; 2 — выходной нейрон; 3 — ассоциативный нейрон, который не 
связан непосредственно с входом и выходом 
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Преобразуем уравнение (1) к следующему виду: 
2 -уА-@, А = рум. + ® У “х, : (3) 
Я г 


Просуммировав по 7 уравнения (3), получим: 


(ва у. в“) -ХУ (уча? )х,=0. (4) 
г 


Е 

Уравнение (4) демонстрирует представление нейронной сети в виде ряда, с 
помощью которого можно аппроксимировать любую непрерывную функцию на 
больших интервалах времени. Напомним, что такое представление эффективно для 
стационарных сигналов. 


Динамические сети для нестационарных сигналов 


Как уже указывалось в предыдущем параграфе, уравнение функционирования (1) 
эффективно для представления стационарных сигналов. Однако на практике часто 
встречаются сигналы с изменяющимися во времени свойствами. Для качественной 
аппроксимации таких сигналов нейронной сетью, по аналогии с вейвлет-преобра- 
зованием, уравнение функционирования нейрона может быть дополнено членом у; 


а! = (Ю) акс (у, р! +01”), и 


где у; является аналогом базисных функций при вейвлет-преобразовании, а остав- 
шаяся часть выражения — эквивалентом вычисления коэффициентов при функции у, 
содержащих информацию о конкретном сигнале. Одним из возможных способов 
представления функции у; является следующий: 
_ 
у (К =и, (1-(ук-ф)е о (6) 


где и; - коэффициент масштабирования; у; — коэффициент сжатия / растяжения; ф; — 
коэффициент смещения по оси дискретного времени. 
В данном случае ряд, представляющий нейронную сеть, примет следующий вид: 


= 
8 — 
Ро У(®) 
Одним из отличий предложенного подхода от традиционного вейвлет-анализа 
является отсутствие жесткой необходимости в конструировании базисных функций, 
поскольку коэффициенты при уравнении (6) могут быть получены с помощью адап- 
тивной процедуры наравне с подстроечными параметрами х,.. 


у,’ — в, АР -У>уа" +4 *)х, = 0% (7) 
Ве 


Статические сети для нестационарных сигналов 


Уравнение (5) легко модифицировать для статической (нерекуррентной) сети с 
целью аппроксимации в дискретном времени заданной функциональной зависимос- 
ти или сигнала: 


а! = (К) ака ( р’). (8) 


При этом уравнение (6) остается неизменным. Здесь, для упрощения, при ис- 
пользовании слоистой сети предполагается работа с одним скрытым слоем п = 2. 
На уравнение (2) вводится условие: 1 /. 
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Статические сети для распределенной обработки 


Интересные результаты могут быть получены модификацией предложенных пред- 
ставлений на случай задач, не содержащих времени. Так, вместо времени может быть 
введена зависимость от номера класса входных данных. Очевидно, что в этом случае 
входные данные нейросети перед подачей на нее должны классифицироваться, напри- 
мер, с помощью алгоритма [29]. Перепишем уравнение (5) следующим образом: 


а, =0, (п) атс (р, ), (9) 
где и — номер класса для входных данных. Уравнение (6) при этом, примет вид: 
_ @и-ф* 
9, (п) = @-(л-$))е ?. (10) 


Здесь, как и в предыдущем параграфе, предполагается работа с одним скрытым 
слоем и = 2 и на уравнение (2) вводится условие: 1-4 /. 

Такая нейросеть будет избирательно реагировать на входные данные, распре- 
деляя их обработку по пространству сети. 


Заключение 


Использование предложенных математических методов и типов формальных ней- 
ронов дает возможность строить архитектуры нейронных сетей, которые во многих слу- 
чаях позволяют решать задачи повышенной сложности, не прибегая к громоздким 
комбинациям разнородных методов, усложняющих и удорожающих систему, увели- 
чивающих время разработки, а также сказывающихся на ее надежности. Особенно это 
касается иерархических архитектур (для нейросетей такое описание предложено в [7]), 
необходимых при решении задач повышенной сложности. 

Предложенные решения позволяют нейросетям эффективно работать на больших 
интервалах времени и в непрерывных режимах, вести распределенную обработку вход- 
ных информационных потоков и работать с нестационарными входными сигналами, 
характерными для реальной окружающей среды, в которой зачастую приходится рабо- 
тать системам искусственного интеллекта. Такими задачами являются, например, 
задачи распознавания речи и визуальных паттернов в условиях динамичных изменений 
окружающей обстановки. 
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Т.Ф. Басканова, Ю.П. Ланюн 

Нейромережний аналВ безперервних потокв нестащонарних даних 

У стати запропонован! структури динам!чних (рекурентних) та статичних (шаруватих) нейроних мереж 
для обробки стацюнарних та нестащюонарних сигнал. Ц! структури дозволяють працювати на великих 
часових 1нтервалах та у безперервному режиму, апроксимувати часов! ряди та функцональн! залежност|, а 
також виконувати розподлену обробку вхдних даних. 


Статья поступила в редакцию 14.07.2009. 
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